In this work we aim to solve a large collection of tasks using a single reinforcement learning agent with a single set of parameters. A key challenge is to handle the increased amount of data and extended training time. We have developed a new distributed agent IMPALA (Importance Weighted Actor-Learner Architecture) that not only uses resources more efficiently in singlemachine training but also scales to thousands of machines without sacrificing data efficiency or resource utilisation. We achieve stable learning at high throughput by combining decoupled acting and learning with a novel off-policy correction method called V-trace. We demonstrate the effectiveness of IMPALA for multi-task reinforcement learning on DMLab-30 (a set of 30 tasks from the DeepMind Lab environment (Beattie et al., 2016)) and Atari-57 (all available Atari games in Arcade Learning Environment (Bellemare et al., 2013a)). Our results show that IMPALA is able to achieve better performance than previous agents with less data, and crucially exhibits positive transfer between tasks as a result of its multi-task approach. The source code is publicly available at github.com/deepmind/scalable agent.

Current SQL generators based on pre-trained language models struggle to answer complex questions requiring domain context or understanding fine-grained table structure. Humans would deal with these unknowns by reasoning over the documentation of the tables. Based on this hypothesis, we propose DocuT5, which uses off-the-shelf language model architecture and injects knowledge from external `documentation' to improve domain generalization. We perform experiments on the Spider family of datasets that contain complex questions that are cross-domain and multi-table. Specifically, we develop a new text-to-SQL failure taxonomy and find that 19.6% of errors are due to foreign key mistakes, and 49.2% are due to a lack of domain knowledge. We proposed DocuT5, a method that captures knowledge from (1) table structure context of foreign keys and (2) domain knowledge through contextualizing tables and columns. Both types of knowledge improve over state-of-the-art T5 with constrained decoding on Spider, and domain knowledge produces state-of-the-art comparable effectiveness on Spider-DK and Spider-SYN datasets.

Across the financial domain, researchers answer complex questions by extensively "searching" for relevant information to generate long-form reports. This workshop paper discusses automating the construction of query-specific document and entity knowledge graphs (KGs) for complex research topics. We focus on the CODEC dataset, where domain experts (1) create challenging questions, (2) construct long natural language narratives, and (3) iteratively search and assess the relevance of documents and entities. For the construction of query-specific KGs, we show that state-of-the-art ranking systems have headroom for improvement, with specific failings due to a lack of context or explicit knowledge representation. We demonstrate that entity and document relevance are positively correlated, and that entity-based query feedback improves document ranking effectiveness. Furthermore, we construct query-specific KGs using retrieval and evaluate using CODEC's "ground-truth graphs", showing the precision and recall trade-offs. Lastly, we point to future work, including adaptive KG retrieval algorithms and GNN-based weighting methods, while highlighting key challenges such as high-quality data, information extraction recall, and the size and sparsity of complex topic graphs.

数据质量是发展医疗保健中值得信赖的AI的关键因素。大量具有控制混杂因素的策划数据集可以帮助提高下游AI算法的准确性，鲁棒性和隐私性。但是，访问高质量的数据集受数据获取的技术难度的限制，并且严格的道德限制阻碍了医疗保健数据的大规模共享。数据合成算法生成具有与真实临床数据相似的分布的数据，可以作为解决可信度AI的发展过程中缺乏优质数据的潜在解决方案。然而，最新的数据合成算法，尤其是深度学习算法，更多地集中于成像数据，同时忽略了非成像医疗保健数据的综合，包括临床测量，医疗信号和波形以及电子保健记录（EHRS）（EHRS） 。因此，在本文中，我们将回顾合成算法，尤其是对于非成像医学数据，目的是在该领域提供可信赖的AI。本教程风格的审查论文将对包括算法，评估，局限性和未来研究方向在内的各个方面进行全面描述。

Grillbot是2022年Alexa奖Taskbot挑战赛中的获胜系统，朝着下一代的多模式任务助手迈进。它是一位语音助手，可以指导用户完成烹饪和家庭装修领域中复杂的现实世界任务。这些是长期且复杂的任务，需要灵活的调整和适应。该演示突出了核心方面，包括一个新的神经决策解析器，用于上下文化语义解析，一种支持条件执行的新“任务图”状态表示，知识接地的Chit-Chat以及使用图像和视频自动丰富任务。

监督的学习任务，例如GigaiPixel全幻灯片图像（WSIS）等癌症存活预测是计算病理学中的关键挑战，需要对肿瘤微环境的复杂特征进行建模。这些学习任务通常通过不明确捕获肿瘤内异质性的深层多企业学习（MIL）模型来解决。我们开发了一种新颖的差异池体系结构，使MIL模型能够将肿瘤内异质性纳入其预测中。说明了基于代表性补丁的两个可解释性工具，以探测这些模型捕获的生物学信号。一项针对癌症基因组图集的4,479吉普像素WSI的实证研究表明，在MIL框架上增加方差汇总可改善五种癌症类型的生存预测性能。

积极推断是复杂系统中的认知和行为的叙述，它在贝叶斯推论的理论地幔下举起动作，感知和学习。积极的推论已经看到学术研究中的应用越来越多，特别是在寻求模拟人类或动物行为的领域。虽然近年来，来自有效推理文献产生的一些代码已经用Python和Julia这样的开源语言编写，迄今为止，用于模拟活动推理代理的最流行的软件是SPM，Matlab库的DEM工具箱最初开发用于神经影像数据的统计分析和建模。因此，在纯粹的数字和科学学科的应用程序方面，表现出对积极推断的兴趣，因此为在开源科学计算语言中模拟了激活推论的通用，广泛可用的和用户友好的代码，这一切都表现为纯粹的数字以及跨科学学科的应用程序。像python。我们在这里呈现的Python包，Pymdp（参见https://github.com/fifer-active/pymdp）表示朝这个方向的重要一步：即，我们提供了用于模拟有源推断的第一个开源包，部分 - 可观察的马尔可夫决策过程或POMDPS。我们查看包的结构，并解释了模块化设计和定制等优点，同时提供沿着文本代码块，以便演示如何使用它以轻松地构建和运行主动推断过程。我们开发了PyMDP，以增加有效推理框架的可访问性和暴露于有多种纪律背景的研究人员，工程师和开发人员。本着开源软件的精神，我们也希望它在不断增长的积极推理界中产生新的创新，发展和合作。

捕获恐怖主义群体中运营相似性的动态至关重要，为反恐和智力监测提供可操作的见解。然而，尽管其理论和实用相关性，目前缺乏研究解决这个问题。我们解决这个问题，提出了一种用于检测分享类似行为的恐怖组群集群的新的计算框架，专注于集团的年曲目的部署策略，攻击目标和利用武器。特别考虑到从1997年到2018年签署至少50次攻击的那些组织，总共占全球42,000多个活动的105组，我们提供三套结果。首先，我们表明，多年来，全球恐怖主义的特点是越来越多的运营凝聚力。其次，我们强调，在2009年至2018年，群体之间共聚类的年度达到稳定性，表明过去十年中相似模式的时间一致性。第三，我们证明，两个组织之间的操作相似性由三个因素驱动：（a）其整体活动; （b）业务曲目的多样性差异; （c）多样性和活动的综合衡量标准的差异。团体的运营偏好，地理性交和思想亲和力在确定操作相似性方面没有一致的作用。

使用3D神经字段的几何形状，颜色和语义的关节表示使得能够使用手持式RGB-D传感器实时地重建场景的超稀疏交互来精确密集标记。我们的ILABEL系统不需要培训数据，但可以比在大型培训的图像数据集上培训的标准方法更准确地标记场景。此外，它以“开放式”方式工作，使用用户在飞行中定义语义类。 Ilabel的潜在模型是一款从头开始培训的多层的感知者（MLP），以实时地学习联合神经场景表示。场景模型是实时更新和可视化的，允许用户对焦相互作用以实现高效标记。可以将房间或类似的场景精确标记为10+语义类别，只需几十点击即可。定量标签精度使用点击次数强烈缩放，并迅速超越标准的预培训语义分段方法。我们还展示了一个分层标签变体。

船上自治技术，如规划和调度，识别科学目标和基于内容的数据摘要，将导致令人兴奋的新空间科学任务。然而，尚未研究具有此类船上自治能力的经营任务的挑战，这是足以在使命概念中考虑的细节水平。这些自主功能需要更改当前的操作流程，实践和工具。我们制定了一个案例研究，以评估使运营商和科学家通过促进地面人员和车载算法之间的共同模型来运营自主航天器所需的变化。我们评估使运营商和科学家能够向航天器传达所需的新的操作工具和工作流程，并能够重建和解释船上和航天器状态的决定。这些工具的模型用于用户学习，了解过程和工具在实现共享理解框架方面的有效性，以及在运营商和科学家有效实现特派团科学目标的能力。